Viện lúc đầu đặt ở nhà Tả vu. Sau khi kinh đô thất thủ năm 1885 phải dời qua dinh của bộ Lễ, rồi bộ Binh, và cuối cùng là chuyển về chùa Giác Hoàng, họp cùng với Toà giám sát (của người Pháp) và Trực phòng các bộ nên gọi chung là Tam toà.

Hiện nay Tam Tòa nằm ở địa chỉ 23 Tống Duy Tân, thuộc phường Thuận Thành, ở góc đông nam bên trong Kinh thành Huế, hiện là trụ sở của Trung tâm Bảo tồn Di tích Cố đô Huế. Tam tòa là một di tích gắn liền với bao thăng trầm của nhà Nguyễn với nhiều lần thay đổi tên, kiến trúc và vị trí, chức năng.

Công trình kiến trúc hiện thấy ngày nay là cổng tam quan của Viện Cơ mật cũ thuộc đợt xây cất năm 1899 đến 1903 thì hoàn thành. Tuy nhiên, tòa nhà chính và bức bình phong phần đã bị phá, phần còn lại đã biến dạng vì xây cất sau này.

Cùng với Trường Quốc Tử Giám, lầu Tàng thư - hồ Ngọc Hải, hồ Tịnh Tâm, Viện Cơ mật đã được Bộ Văn hóa - Thông tin công nhận xếp vào danh mục Di tích kiến trúc nghệ thuật cấp quốc gia.

Lịch sử liên quan đến địa điểm của Viện Cơ mật

Viện Cơ mật gắn liền với những sự kiện lịch sử đáng nhớ.

• Năm 1738, chúa Nguyễn Phúc Khoát đã chọn nơi này để xây dựng thủ phủ Phú Xuân sau đổi tên là Chính dinh, từ năm 1754 đến 1775 thì gọi là Đô thành Phú Xuân. Sau đó bị quân Trịnh chiếm đóng (1775-1786), rồi trở thành kinh đô của triều đại Tây Sơn (1786-1801).
• Năm 1802, vua Gia Long lên ngôi, mở ra một vương triều mới. Phú Xuân cũng bị san bằng và khu vực Tam tòa hiện nay được dùng để xây chỗ ở cho Hoàng tử Đảm (vua Minh Mạng về sau).
• Năm 1816, khi Hoàng tử Đảm chuyển về đông kinh thành, nơi đây thành nơi ở của Hoàng tử Nguyễn Phúc Chẩn (em vua Minh Mạng), sau là Nguyễn Phúc Thiện Khuê - con trai trưởng của Nguyễn Phúc Chẩn.
• Năm Minh Mạng thứ hai mươi (1839), khu đất này được lấy lại để xây chùa Giác Hoàng. Nơi đây còn là tiềm để của vua Minh Mạng lúc còn nhỏ. Khi vua Minh Mạng chuyển qua ở dinh Thanh Hoà, dinh cũ để lại làm phủ đệ của ông hoàng Thiệu Hoá (Nguyễn Phúc Chấn), con thứ 9 vua Gia Long. Năm 1839, vua Minh Mạng lại cấp đất khác cho ông hoàng Thiệu Hoá, lấy khu tiềm để cũ của mình xây dựng chùa Giác Hoàng. Năm Thiệu Trị thứ ba (1843), vua làm bài vịnh "Giác Hoàng phạn ngũ" ca tụng chùa là một trong 20 cảnh đẹp đất thần kinh. Sau sự kiện 1885, pháo binh thực dân Pháp chiếm chùa Giác Hoàng làm doanh trại. Các tượng Phật, đồ thờ cúng chuyển qua chùa Diệu Đế.
• Năm 1903, toàn bộ chùa Giác Hoàng bị Pháp san bằng để xây dựng Viện Cơ mật. Viện Cơ mật lúc bấy giờ chia làm 3 khu vực chính, khu nhà chính gọi là Viện Cơ mật, dãy nhà trái là Bảo tàng Kinh tế, dãy nhà phải là văn phòng của Hội Lý người Pháp.
• Từ 1955 đến 1975, hai dãy nhà hai bên trở thành văn phòng của các cơ quan tư pháp địa phương (tỉnh Thừa Thiên và thành phố Huế), còn tòa nhà chính (tức Viện Cơ mật) được dùng làm nơi xét xử các vụ án từ sơ thẩm đến thượng thẩm.
• Từ năm 1975 đến 1976, Ủy ban Quân quản Thừa Thiên – Huế đóng và làm việc tại khu vực này. Từ năm 1976 đến 1989, Tam tòa trở thành trụ sở của Tỉnh ủy tỉnh Bình Trị Thiên, rồi Tỉnh ủy tỉnh Thừa Thiên – Huế (1989 - 2000).
• Tháng 10, 2000 đến nay, Trung tâm Bảo tàng Di tích Cố đô Huế quản lý di tích Viện Cơ mật và Viện Cơ mật trở thành văn phòng của Trung tâm Bảo tàng Di tích Cố đô Huế. Hiện còn có giếng Thanh Phương và cổng tam quan của Viện Cơ mật là dấu vết của chùa Giác Hoàng xưa.